Nguồn gốc của song song (MIMD) xuất phát từ Federico Luigi, Conte Menabrea và "Phác thảo của máy giả tích phát minh bởi Charles Babbage" của ông.[43][44] IBM giới thiệu 704 vào năm 1954, thông qua một dự án, trong đó Gene Amdahl là một trong những kiến trúc sư chính. Nó đã trở thành máy tính thương mại đầu tiên sử dụng lệnh số học dấu phẩy động hoàn toàn tự động.[45]

Vào tháng 4 năm 1958, S. Gill (Ferranti) thảo luận về lập trình song song và nhu cầu phân nhánh và chờ đợi.[46] Cũng trong năm 1958, hai nhà nghiên cứu của IBM John Cocke và Daniel Slotnick lần đầu tiên thảo luận về việc sử dụng song song trong các tính toán số học.[47] Tập đoàn Burroughs đã giới thiệu D825 năm 1962, một máy tính bốn bộ xử lý có thể truy cập lên đến 16 module bộ nhớ thông qua một bộ chuyển mạch thanh ngang.[48] Năm 1967, Amdahl và Slotnick công bố một cuộc tranh luận về tính khả thi của xử lý song song tại của Hội nghị xử lý thông tin xã hội Liên bang Mỹ.[47] Từ cuộc tranh luận này mà định luật Amdahl đã được đặt ra để xác định giới hạn sự tăng tốc do song song.

Năm 1969, công ty của Mỹ Honeywell giới thiệu hệ thống Multics đầu tiên của mình, một hệ thống đa xử lý đối xứng có khả năng chạy lên đến tám bộ xử lý song song.[47] C.mmp, một dự án bộ đa xử lý ở Đại học Carnegie Mellon những năm 1970, là "một trong những bộ đa xử lý đầu tiên với hơn một vài bộ vi xử lý".[44] "Bộ đa xử lý đầu tiên kết nối kênh với snooping vùng nhớ đệm là Synapse N+1 năm 1984."[44]

Máy tính song song SIMD có nguồn gốc từ những năm 1970. Hoạt động của những máy tính SIMD đời đầu là giảm dần các chậm trể ở cổng ở đơn vị kiểm soát của bộ xử lý trên nhiều lệnh.[49] Năm 1964, Slotnick đã đề xuất xây dựng một máy tính song song hàng loạt cho Phòng thí nghiệm quốc gia Lawrence Livermore.[47] Thiết kế của ông được tài trợ bởi Không quân Hoa Kỳ, là nỗ lực tính toán song song SIMD đầu tiên, ILLIAC IV.[47] Chìa khóa cho việc thiết kế của nó là một song song khá cao, lên đến 256 bộ xử lý, cho phép máy làm việc trên bộ dữ liệu lớn mà sau này được biết đến như là xử lý liên hợp. Tuy nhiên, ILLIAC IV được gọi là "nổi tiếng nhất trong các siêu máy tính", vì dự án đã được chỉ hoàn thành được một phần tư, nhưng tốn 11 năm và chi phí gấp gần bốn lần so với ước tính ban đầu.[42] Khi nó cuối cùng cũng có thể chạy ứng dụng đầu tiên vào năm 1976, nó đã hoàn toàn thua kém so với những siêu máy tính thương mại lúc đó như Cray-1.